Cómo (intentar) evitar que tu experimento se convierta en un desastre
Deserción (variables de resultado con datos faltantes)
Incumplimiento
Derrame
Efecto Hawthorne
Tratamiento diferencial de los distintos brazos de tratamiento
\[Y_i(z) \perp R_i(z)\]
\[Y_i(z) \perp R_i(z) | X_i\]
\[E[Y_i(1)] = \frac{1}{N} \sum_{i=1}^{N} \frac{Y_i(1) r_i(1)}{\pi_i(z = 1, x)},\]
Compruebe si las tasas de deserción son similares en los grupos de tratamiento y control.
Compruebe si las covariables de los grupos de tratamiento y control tienen padrones similares.
No elimine las observaciones con datos faltantes en las variables de resultado.
A veces, cuando faltan datos en la variable de resultados, podemos acotar (“bound”) nuestras estimaciones del efecto del tratamiento.
Imagina los resultados faltantes de aquellos que abandonaron
No sabemos cuáles son esos resultados, pero podemos considerar dos escenarios extremos:
Mejor escenario posible: Asumir que los desertores en el grupo de tratamiento habrían tenido los mejores resultados posibles, y los desertores en el grupo de control habrían tenido los peores resultados posibles (en relación con los datos observados)
Peor escenario posible: Asumir que los desertores en el grupo de tratamiento habrían tenido los peores resultados posibles, y los desertores en el grupo de control habrían tenido los mejores resultados posibles
Al calcular el ATE bajo estos supuestos extremos, obtenemos un rango (cota superior y cota inferior) que (con suerte 😅) contiene el ATE verdadero
Para encontrar la cota superior de la estimación del efecto del tratamiento, sustituya 10 por los valores faltantes en el grupo de tratamiento y 0 por el valor faltante en el grupo de control
Cota superior: \(\frac{(7 + 10 + 10 + 10)}{4} - \frac{(0 + 7 + 5 + 6)}{4} = \frac{37}{4} - \frac{18}{4} = 4.75\)
Para encontrar la cota inferior de la estimación del efecto del tratamiento, sustituya 0 por los valores faltantes en el grupo de tratamiento y 10 por el valor faltante en el grupo de control
Cota inferior: \(\frac{(7 + 10 + 0 + 0)}{4} - \frac{(10 + 7 + 5 + 6)}{4} = \frac{17}{4} - \frac{28}{4} = -2.75\)
Entonces, el ATE está entre -2.75 y 4.75… ¡y de hecho lo es (2)! 🎉
Pero como puedes ver, las cotas son bastante amplias…
Lee (2009) sugirió que podemos recortar las cotas para hacerlas más informativas (y más estrechas)
Más información sobre el análisis de cotas extremas en este conjunto de diapositivas
La ausencia de datos en covariables de contexto (es decir, variables cuyos valores no cambian como resultado del tratamiento) para algunas observaciones es menos problemática.
Podemos aprender sobre el efecto causal de un experimento incluso sin esas covariables
Podemos usar la covariable de contexto según lo planeado imputando los datos faltantes
También podemos condicionar nuestro análisis directamente a esos datos faltantes
En algunas ocasiones las unidades que son asignadas al tratamiento terminan no recibiéndolo. Es decir, no cumplen la asignación.
Si todas las unidades asignadas al grupo de control no toman el tratamiento, pero sólo algunas unidades asignadas al tratamiento sí lo toman, estamos frente a un caso de incumplimiento unilateral.
El efecto de ser asignado al tratamiento no es el mismo que el de recibir el tratamiento.
El efecto de recibir el tratamiento es comunmente conocido como “efecto local promedio del tratamiento” (LATE) o efecto promedio del tratamiento para el cumplidor (CACE).
La palabra “local” hace referencia a la idea de que el efecto solo aplica para las personas que toman el tratamiento cuando son asignadas a éste (el tipo de personas).
\[ CACE \equiv \frac{\sum_{i=1}^{N}(Y_i(1) - Y_i(0))d_i(1)}{\sum_{i=1}^{N}d_i(1)} = E[(Y_i(d = 1) - Y_i(d = 0)) | d_i(1) = 1] \]
Fuente: Blackwell (2021)
A veces tendremos sospechas de que la asignación al tratamiento de una unidad afecta los resultados de otras unidades.
Si el tratamiento de una unidad afecta el resultado de otra unidad, estamos violando uno de los supuestos básicos de inferencia causal.
Podemos seleccionar unidades que están lejos unas de otras para evitar la “transmisión” del tratamiento entre unidades.
Fuente: Collazos et al. (2021)
Esto no es un problema si diseñas un estudio que permita investigar el derrame, es decir, que los resultados de una unidad pueden depender del tratamiento de otras unidades.
Para investigar los efectos de derrame:
Podemos recolectar datos de la variable de resultado para las unidades que nunca fueron elegibles para la asignación aleatoria al tratamiento, pero que estaban cerca de unidades que sí eran elegibles para el tratamiento y que pudieron verse afectadas por efectos de derrame.
Podemos utilizar un diseño de asignación aleatoria en dos etapas.
Podemos asignar grupos de unidades (p. Ej., Distritos) a diferentes niveles de intensidad de tratamiento (p. Ej., Usar una proporción diferente de aldeas en los distritos asignados al tratamiento).
a = estado de tratamiento del compañero de casa (0=control, 1=tratado)b = estado de tratamiento propio (0=control, 1=tratado)| Notación | Compañero de casa | Propio | Interpretación |
|---|---|---|---|
| \(Y_{00}\) | Control | Control | Resultado base |
| \(Y_{01}\) | Control | Tratado | Efecto directo del tratamiento |
| \(Y_{10}\) | Tratado | Control | Efecto de derrame |
| \(Y_{11}\) | Tratado | Tratado | Efectos combinados |
El efecto Hawthorne: saber que están siendo observados/estudiados puede llevar a los sujetos a comportarse de manera diferente.
Esto podría crear un error de medición sistemático tanto en los grupos de tratamiento como en los de control.
También podría resultar de una mayor atención prestada al grupo de tratamiento, deshaciendo la creación de grupos de tratamiento y control equivalentes creados a través de la asignación aleatoria
Recolectar datos de la forma más discreta posible.
En la medida de lo posible, nadie más que el propio sujeto debe conocer a qué condición de tratamiento fue asignado.
Encuestadores/investigadores deberían desconocer la condición de tratamiento de los sujetos.
No debemos hacer mediciones adicionales para el grupo de tratamiento.
Manejar los grupos de tratamiento y control de manera diferente significa que las diferencias observadas en las variables de resultado entre estos grupos pueden deberse al tratamiento y/o al manejo diferente.
Los ejemplos incluyen el uso de diferentes cuestionarios para la recolección de datos o rondas adicionales de recolección de datos para el grupo de tratamiento con la intención de obtener información sobre los mecanismos.
Recuerde diseñar su estudio y sus encuesta para tratar todos los brazos de tratamiento por igual, excepto por el tratamiento en sí.